جلوگیری از ایندکس شدن صفحه توسط موتور جستجو

موتورهای جستجو، روبات هایی دارند که تمام صفحات و لینک های سایت را پیمایش می کنند و آنها را ایندکس می کنند. شما به یکی از دو شیوه زیر می توانید فرایند ایندکس کردن را مدیریت کنید.

راه اول: اضافه کردن فایل Robots.txt به وب سایت:
شما می توانید در فایل Robots.txt ، فایل ها و فولدر هایی که تمایل دارید موتور جستجو به آن دسترسی داشته باشد یا فایل ها و فولدرهایی که تمایل دارید موتور جستجو به آن دسترسی نداشته باشد را معرفی کنید.
این فایل، یک فایل متنی ساده است که می تواند محتویاتی همانند زیر داشته باشد:

این خط به همه ربات ها مجوز اعمال دستوراتی که بعد از این خط درج شده است را می دهد؛ دستورات می تواند شامل دسترسی یا عدم دسترسی به یک فایل خاص یا فولدر باشد:

این خط فقط به ربات گوگل مجوز اعمال دستورات بعد از این خط را می دهد:

این خط به ربات جستجوگر اعلام می کند که اجازه ایندکس کردن فایل و فولدرهای مسیر جاری را ندارد:

این خط به ربات جستجوگر اعلام می کند که اجازه ایندکس کردن فایل با نام login.aspx را ندارد:

این خط به ربات جستجوگر اعلام می کند که اجازه ایندکس کردن محتویات فولدر admin را ندارد:

راه دوم: اضافه کردن Metatag های noindex و nofollow به صفحه:

این خط به ربات جستجوگر اعلام می کند که اجازه ایندکس کردن صفحه حاوی این metatag را ندارد:

این خط به ربات جستجوگر اعلام می کند که اجازه ایندکس کردن لینک های موجود در صفحه حاوی این metatag را ندارد:

این خط به ربات جستجوگر اعلام می کند که اجازه ایندکس کردن صفحه حاوی این metatag و همچنین لینک های موجود در صفحه حاوی این metatag را ندارد:

سید حامد واحدی     28 آذر 1396